想像一個未來不是一條固定路徑，而是一張閃爍的可能之網的世界。掌握 隨機性的動態 就是要在隨機演化——系統如何在狀態之間遷移——與這些轉移中固有的「新奇性」或驚喜感的量化之間建立橋樑。
1. 狀態轉移的結構
考慮天氣的邏輯。如果我們假設今天的降雨是影響明天的唯一因素，我們就進入了馬可夫動力學的領域。這精巧地體現在 範例 2a：
假設明天是否下雨僅取決於過去的天氣條件，且僅通過今天是否下雨來決定。如果今天下雨，明天也會下雨，機率為 $\alpha$；如果今天不下雨，明天下雨的機率則為 $\beta$。
這會產生一個轉移矩陣 $P$，我們可以利用 查普曼-柯爾莫哥洛夫恆等式：
$$P_{ij}^{(2)} = \sum_{k=0}^{M} P_{kj}P_{ik}$$
2. 到達的節奏
隨機性不僅關乎 往哪去 我們要去哪裡，更關乎 何時 事件發生的時間。在泊松過程中，我們會追蹤離散到達（如地震或放射性衰變）隨時間的變化。
- 相鄰事件間隔時間： 對於泊松過程，令 $T_1$ 表示第一個事件發生的時間。當 $n > 1$ 時，令 $T_n$ 表示第 $(n-1)$ 個事件與第 $n$ 個事件之間的時間間隔。
- 穩態： 序列 $\{T_n, n=1, 2, \ldots\}$ 由獨立的指數變數組成，其分布由速率 $\lambda$ 決定。
3. 資訊即驚喜的減少
資訊理論由克勞德·香農率先發展，用以量化不確定性。它建立在一個優美的代數基礎上，特別是 公理 4：
公理 4：對於 $0 < p \le 1, 0 < q \le 1$，有 $S(pq) = S(p) + S(q)$
此公理意味著兩個獨立事件的驚喜程度，等於各自驚喜程度的總和，直接導向 香農熵：
$$H(X) = -\sum_{i=1}^n p_i \log_2(p_i)$$
🎯 核心洞見
動態定義了遊戲規則（轉移機率），而熵則衡量實際參與遊戲後我們獲得了多少資訊（資訊增益）。若在天氣模型中 $\alpha=1$ 且 $\beta=1$，系統將是確定性的；此時熵為零，因為「新聞」並未帶來任何新資訊。